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(57) Abstract: The invention relates to an electronic device (for example camera) comprising the following components: an image 
reader unit ( 1), provided with one or several image sensors (6), whereby at least one image sensor permits access to individual pixels. 
Said image reader unit (1) is embodied such as to be able to receive and carry out image-taking commands. In at least one of said 
image-taking commands the form of the image segment (60), to be read from said image sensor (6), is freely definable. Said image 
reader unit (1) only reads and makes available from the image sensor (6), those image segments (60) from said image sensor (6) 
which correspond to the freely-definable form from the said image taking command. 

(57) Zusammenfassung: Elektronische Einrichtung (zum Beispiel Kamera) die folgende Komponenten umfasst: eine mit einem 
oder mehreren Bildsensoren (6) ausgestattete Bildlese-Einheit (1), wobei mindestens ein Bildsensor den Zugriff auf einzelne Pi- 
xels erlaubt, wobei die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausfuh- 
ren kann, wobei in mindestens einem benannten Bildaufnahme-Befehl die Form des Bildabschnitts (60), die aus dem benannten 
Bildsensor (6) eingelesen werden muss, frei definierbar ist, und wobei die benannte Bildlese-Einheit (1) nur die Bildabschnitte (60) 
des benannten Bildsensors (6), die der im benannten Bildaufnahme-Befehl frei definierten Form entspricht, aus dem benannten 
Bildsensor (6) einliest und zur Verfugung stellt. 
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Einrichtung fur das Extrahieren von f rei definierbaren 
Bildabschnitten aus einem Bildsensor 

Die vorliegende Erfindung betrifft eine elektronische 
Einrichtung, insbesondere eine intelligente numerische Kamera, mit 
5 welcher frei definierbare Bildabschnitte aus einem Bildsensor extrahiert 
werden konnen. 

Fur die digitale Verarbeitung von Bildern fQr Industrieprozesse, 
Medizinaltechnik, Videosysteme, etc. werden heutzutage spezielle 
Kamerasysteme eingesetzt, die aus mehreren Elementen bestehen. Ein 

10 solches System besteht aus einem Bildsensor, der mit einer Optik versehen 
ist. Dieser Bildsensor ist in der Lage, Bilder aufzunehmen und diese in einen 
digitalen Speicher abzulegen. Dabei werden die Pixelsignale die vom 
Bildsensor erzeugt werden uber einen Analog-Digital-Wandler in digitale 
Bilddaten umgewandelt. Der Bildsensor(zum Beispiel in CDD, CMOS oder 

15 CID-Technik) muss mit speziellen Signalen angesteuert werden, urn die 
Pixelwerte zu extrahieren. Oft ist ein Prozessor vorhanden, welcher die 
digitalen Bilddaten mit Algorithmen und Programmen verarbeiten kann. 
Das Ergebnis der Bilddatenverarbeitung wird uber eine 
Kommunikationsschnittstelle an eine externe Recheneinheit ubertragen 

20 (zum Beispiel an ein Steuersystem, einen Aktuator, u.s.w.). Solche 
Kamerasysteme, die mit einem Prozessor ausgestattet sind, welcher 
Bilddaten verarbeiten kann, werden als intelligente Kamera bezeichnet. 

Intelligente Kameras werden oft als intelligente Sensoren in 
einem geschlossenen Regelkreis verwendet. Das Ergebnis der Bilddaten- 
25 verarbeitung muss dabei in einer moglichst kurzen Durchlaufzeit einem 
Prozessrechner abgeliefert werden konnen, der das verf ilmte System 
beeinflussen kann. Je kurzer die Durchlaufzeit und die Prozessrechenzeit 
ist, urn so kurzer konnen die Abtastzeiten des Regelsystems gewahlt 
werden. Dadurch wird das Regelsystem leistungsfahiger und schneller. 

30 Fur die intelligente Kamera bedeutet dies dass der Prozessor die 

Bilddaten so schnell wie moglich verarbeiten muss. Die Verarbeitungszeit 
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ist jedoch von der Menge der Bilddaten die verarbeitet werden mussen 
abhangig. Wird die Auflosung und/oder die Grosse des Bildsensors erhoht, 
muss oft mit einer langsameren Bilddatenverarbeitung gerechnet werden. 
Es muss daher ein Kompromiss zwischen der Auflosung der Kamera (Anzahl 
der ubermittelten Pixel), der Durchlaufzeit und dem Preis gefunden 
werden. Bestehende intelligente Kameras haben entweder eine niedrige 
Auflosung (Bildqualitat), eine langsame Geschwindigkeit (Durchlaufzeit) 
und/oder einen hohen Preis und eignen sich jeweils nur fur bestimmte 
Zwecke. 

Es ist daher ein Ziel der Erfindung, eine neue elektronische 
Einrichtung anzubieten, insbesondere eine Kamera, mit welcher ein 
besserer Kompromiss zwischen Auflosung, Geschwindigkeit und Preis 
erreicht wird. 

Ein anderes Ziel der Erfindung ist es, eine neue elektronische 
15 Einrichtung anzubieten, mit welcher der Kompromiss zwischen Auflosung 
und Geschwindigkeit zu jeder Zeit vom Benutzer geandert werden kann. 

Erfindungsgemass werden diese Ziele erreicht, indem die neue 
elektronische Einrichtung zu jeder Zeit moglichst schnell nur die 
notwendigen Bilddaten (statt alle Bilddaten vom Bildsensor) zur Verf ugung 

20 stellt. Dabei konnen spezielle vordefinierte Bildformen (zum Beispiel 
Rechtecke, Kreise, Linien, Muster, usw.) extrahiert werden. Indem man 
nicht das gesamte Bild aus dem Bildsensor extrahiert, sondern nur frei 
definierbare Bildabschnitte, konnen die Bilddaten wesentlich schneller 
gelesen und weiterverarbeitet werden, ohne dass dabei eine Verminderung 

25 der Bildqualitat fur das ausgewahlte Bildteil in Kauf genommen werden 
muss. 

Diese Ziele ergeben sich auch aus einer elektronischen Ein- 
richtung, die folgende Bauteile umfasst: 

eine Bildlese-Einheit, die mit einem oder mehreren Bildsensoren aus- 
30 gestattet ist, wobei mindestens ein Bildsensor Einzelpixelzugriffe erlaubt, 
wobei die benannte Bildlese-Einheit derart ausgestaltet ist, dass sie 
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Bildaufnahme-Befehle empfangen und ausfuhren kann, 

wobei in mindestens einem benannten Bildaufnahme-Befehl die 

Form des Bildabschnitts welcher extrahiert werden muss, definiert ist, 

und dass die benannte Bildlese-Einheit nur die Pixel des benannten 
5 Bildsensors, welcher der im benannten Bildaufnahme-Befehl definierten 

Form entspricht einliest und zur Verfugung stellt. 

Somit kann eine externe elektronische Einrichtung welche 
Bilddaten verlangt mit entsprechenden Bildaufnahme-Befehlen die Form 
und Grosse des aufgenommen Bildabschnitts selbst bestimmen und auf 
10 diese Weise die Geschwindigkeit der Bilddatenverarbeitung beeinf lussen. 

Die elektronische Einrichtung gemass der Erfindung verwendet 
vorzugsweise mindestens einen Bildsensor der Einzelpixelzugriffe erlaubt. 
Bildsensoren mit Einzelpixel-Zugriff sind als solche bereits bekannt und 
sogar auf dem Markt erhaltlich. Ein Beispiel eines solchen Sensors wird 

15 unter anderem in der Patentanmeldung EP-A2-935880 beschrieben, die 
eine Halbleiter-Schaltung vorschlagt, urn einzelne Pixels schnell einzulesen. 
Ein anderes Beispiel ist im Patent US5933190 beschrieben. In diesem 
Dokument wird eine Bildsensortopologie der CMOS-Technik beschrieben, 
die auch den Zugriff auf einzelne Pixel erlaubt, statt nur auf ganze Bilder. 

20 Urn mit einem solchen Sensor auf einen Abschnitt eines Bildes (Bildbereich) 
zuzugreifen, muss eine externe Vorrichtung jedes Pixel des Bildabschnitts 
separat adressieren, was eine hohe Rechenleistung der benannten externen 
Vorrichtung voraussetzt. 

US5146340 beschreibt ein Bildlese- und Verarbeitungssystem, 
25 welches ermoglicht einen elektronischen Bildsensor mit zwei 

unterschiedlichen Geschwindigkeiten einzulesen. Dies wird gemacht, um 
eine gewunschte Bildzone mit der korrekten Geschwindigkeit einzulesen, 
wahrend der Rest des Bildes mit einer erhohten Geschwindigkeit 
eingelesen wird um dadurch schneller an den interessanten Bildteil 
30 heranzukommen. Die unbenotigten Abschnitte des Bildes werden nicht 
digitalisiert. Mit dieser Methode kann die Taktfrequenz des Bildeinlese- 
Prozesses erhoht werden. Das eingelesene Bild wird in einen Bildspeicher 
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abgelegt. Dieser Bildspeicher kann nach dem Umschalten der Busse durch 
einen Prozessor eingelesen und verarbeitet werden. Alie Pixel, auch die gar 
nicht benotigten, werden eingelesen. 

US5060074 schlagt eine Bildlese-Einheit fOr eine Videokamera 
vor, welche wie in Patent US 5146340 ermoglicht, das Bildfeld in zwei 
verschiedenen Geschwindigkeiten einzulesen. Dies wird gemacht um eine 
interessante Bildzone schneller einzulesen als das gesamte Bild. Damit 
konnen durch den Kamerabenutzer verursachten Vibrationen des Bildes 
wurden ausgeglichen werden. Die interessante Bildzone kann ohne 
vertikale oder horizontale Verschiebung dargestellt werden. Auch hier 
werden aber stets alle Pixel eingelesen. 

Im folgenden werden anhand der beigefugten Zeichnungen be- 
vorzugte Ausfuhrungsbeispiele der Erfindung naher beschrieben. Es zeigen: 

Fig. 1 eine einfache schematische Darstellung einer Ein- 
is richtung gemass der Erfindung, aufgeteilt in eine Bildlese-Einheit, eine 
Speichereinheit und eine externe elektronische Einrichtung. 

Fig. 2 eine schematische Darstellung einer ersten 
Ausfuhrungsform einer Einrichtung gemass der Erfindung. 

Fig. 3 eine schematische Darstellung einer zweiten 
20 Ausfuhrungsform einer Einrichtung gemass der Erfindung (in diesem 
Beispiel als intelligente Kamera). 

Fig. 4 eine schematische Darstellung einer dritten Aus- 
fuhrungsform einer Einrichtung gemass der Erfindung, mit einem PC 
welcher mit einer Framegrabber-Karte mit DMA PC-Speicher-Zugriff 
25 ausgerustet ist und mit einer Einzel-Pixel-Zugriff Kamera. 

Fig. 5 eine schematische Darstellung einer vierten 
Ausfuhrungsform einer Einrichtung gemass der Erfindung, mit einer Einzel 
Pixel-Zugriff-Kamera mit einer schnellen Kommunikationsschnittstelle, 
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welche die verlangten Pixel direkt und ohne Zwischenspeicherung an eine 
externe elektronische Einrichtung sendet. 

Fig. 6 eine schematische Darstellung einer funften Aus- 
f Qhrungsform einer Einrichtung gemass der Erfindung, mit einem PC 
5 welcher mit einer Framegrabber-Karte mit eigenem Buffer Speicher 
ausgerustet ist und mit einer Einzel-Pixel-Zugriff Kamera. 

Fig. 7 eine schematische Darstellung der Parameter, die in 
einem Bildauf nahme-Befehl benotigt werden urn einen rechteckigen 
Bildabschnitt zu definieren. 

10 Fig. 8 eine schematische Darstellung der Parameter, die in 

einem Bildauf nahme-Befehl benotigt werden, urn einen parallelogramm- 
formigen Bildabschnitt zu definieren. 

Fig. 9 eine schematische Darstellung der Parameter, die in 
einem Bildaufnahme-Befehl benotigt werden urn einen elliptischen 
15 Bildabschnitt zu definieren. 

Die Figur 1 zeigt ein Bildsignal-Verarbeitungssystem mit drei 
Elementen 1, 2 und 3. Mit 1 ist eine Bildlese-Einheit schematisch dargestellt, 
die mittels einer Optik 4 aufgenommene Video Bilddaten in eine 
Speichereinheit 2 schreiben kann. Die Bildlese-Einheit 1 kann vorzugsweise 
auch den Inhalt der Speichereinheit 2 lesen. Die Bildlese-Einheit 1, die Optik 
4 und die Speichereinheit 2 sind vorzugsweise im selben (nicht 
dargestellten) Kamera-Gehause untergebracht. Eine externe elektronische 
Einrichtung 3 (zum Beispiel ein PC, ein Video-Recorder oder ein 
Prozessrechner) kann Ober eine Kommunikationsschnittstelle auf die 
Bilddaten in der Speichereinheit 2 zugreifen und vorzugsweise auch Daten 
(unter anderem Bildaufnahme-Befehle) in diese Einheit schreiben. 

Die externe elektronische Einrichtung 3 kann mit Befehlen die in 
die Speichereinheit geschrieben werden und/oder mit einem Synchronisa- 
tionssignal uberdie Kommunikationsschnittstelle 14 von der Bildlese- 
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Einheit 1 verlangen, class sie einen Abschnitt des gesamten Bildes mit einer 
definierten Form in die Speichereinheit 2 schreibt. Synchronisationssignale 
konnen auch von einem beiiebigen externen Gerat 15 stammen. Die 
Bildlese-Einheit verfugt uber einen Bildsensor, der auf jedes einzelne Pixel 

5 direkt zugreifen kann. Damit kann die Bildlese-Einheit spezielle Bildformen 
wie rechteckige Formen, Kreise, mehrere parallele Linien und beliebige 
andere Bildformen in die Speichereinheit 2 ablegen, ohne das unbenutzte 
Pixel eingelesen werden mussen. Da nur die benotigten Pixel eingelesen 
werden, kann die Einlese- und Verarbeitungszeit der Bildlese-Einheit 

10 wesentlich reduziert werden. Die Kamera mit den Einheiten 2 und 3 stellt 
somit nur jene Pixel zur Verfugung die zur Bildform gehdren, die von der 
externen Einrichtung 3, 15 bestimmt wurde. Die Bildfrequenz ist von der 
Grosse und Art der verlangten Form abhangig, so dass eine externe 
Vorrichtung 3, 15 die Bildfrequenz selbst erhohen kann, indem sie 

15 beispielsweise einen kleineren Bildabschnitt extrahieren lasst. 

Die Bildlese-Einheit 1 verfQgt uber weiter unten beschriebene 
programmierbare Datenverarbeitungsmittel zur Erzeugung der Adressen- 
und Timing-Signale, die den Treiber des Bildsensors in Abhangigkeit vom 
der verlangten Bildabschnitt steuern. Diese Verarbeitungsmittel konnen 
20 vorzugsweise auch gewisse Bildverarbeitungs-Algorithmen zur 

Bilderverarbeitung einsetzen, beispielsweise urn Bilder zu kalibrieren, urn 
ein Festrauschen zu eliminieren, urn Bilder mit einem Schwellwert zu 
binarisieren, urn Konturen im Bild zu ermitteln, oder urn Objekten in einer 
Bildsequenz zu folgen. Die Verarbeitungsmittel in der Bildlese-Einheit 
25 umfassen vorzugsweise einen Mikroprozessor und/oder einen digitalen 
Signalprozessor (DSP), urn diese Algorithmen durchzufiihren. Neue 
Programme konnen uber die Speichereinheit 2, uber eine andere 
Schnittstelle oder auf einen Datentrager (zum Beispiel eine PC-Card) 
geladen werden. Fur die Kalibrierung kann ein in einem elektronischem 
so Speicher gespeichertes Kalibrierungsbild verwendet werden. Wenn ein 
Befehl oder Synchronisationssignal zur Bildaufnahme empfangen wird, 
werden die gewunschten Bilddaten adressiert und mit dem 
Kalibrierungsbild kalibriert, bevor die neuen Bilddaten als kalibrierte Bilder 
zur Verfugung gestellt werden. 
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Die Figur 2 zeigt eine detaillierte Darstellung einer ersten Aus- 
fuhrungsform einer Einrichtung gemass der Erfindung. Die Bildlese-Einheit 
1 mit Datenverarbeitungsmitteln 8,9 und die Speichereinheit 2 sind 
vorzugsweise in ein gemeinsames Gehause integriert. Eine solche 
5 Kombination wird als intelligente Kamera bezeichnet, da die Kamera 
gewisse Bildsignal-Verarbeitungsschritte ohne externen Prozessor 
ausfuhren kann. 

Die Bildlese-Einheit 1 besteht aus einem Bildsensor 6 mit Einzel- 
pixelzugriff aus einer Optik 4 um das Licht zu fokussieren, aus einem 

10 Treiber 5 und aus einem analog-digital Wandler 7. Programmierbare 
Datenverarbeitungsmittel 8 (zum Beispiel ein oder mehrere Prozessoren 
und/oder DSP, oder eine FPGA-Schaltung) generieren die Adressen und die 
Timing-Signale die den Treiber 5 derart steuern, dass nur die benotigten 
Pixel im Bildsensor 6 gelesen werden. Andere Bildverarbeitungsoperationen 

15 konnen durchgefuhrt werden (beispielsweise eine Bildkalibrierung, die 
Binarisierung des Bildes, die Berechnung der Konturen, eine Hoch- oder 
Tiefpass-Filterung, oder die Folge von Objekten auf 

nacheinanderfolgenden Bildern einer Bildsequenz). Die Datenverabeitungs- 
mittel 8 verwenden einen lokalen elektronischen Speicher 9 (zum Beispiel 
20 eine RAM), um die verschiedenen Programme auszufuhren. 

Die Speichereinheit 2 besteht in dieser Ausfuhrungsform aus 
mehreren Speichermodulen 21. Damit kann die Bildlese-Einheit 1 auf ein 
Speichermodul zugreifen, wahrend die elektronische Einrichtung 3 
gieichzeitig auf ein anderes Modul zuruckgreift. 

25 Nur die benotigten Pixel werden vom Bildsensor 6 mit dem 

Treiber 5 eingelesen und mit dem AD-Wandler 7 digitalisiert und entweder 
in den internen Speicher 9 oder direkt in einen Speicher 21 der 
Speichereinheit 2 geschrieben. Die Bildaufnahme erfolgt auf einen Befehl 
oder ein Synchronisationssignal 14 an den Prozessor 8. Dieser Befehl kann 

30 vom Prozessor 1 1 der externen Einrichtung 3 stammen, aber auch von 
einem anderen externen Gerat 15. 
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Die externe elektronische Einrichtung 3 besteht hier aus einem 
Prozessorsystem, welches die gewunschten Bilderdaten von den Speicher- 
modulen 21 der Speichereinheit 2 liest und weiterverarbeitet. Dieses 
Prozessorsystem 3 kann die Bildlese-Einheit 1 uber die Kommunikations- 

5 Schnittstelle 14 oder uber in der Speichereinheit 2 gespeicherte Befehle 
mitteilen, welcher Bildabschnitt benotigt wird. Es ist aber auch moglich, 
dass die Bildaufnahme-Befehle von einer anderen, externen Einrichtung 15 
kommen, oder dass sie von der Bildlese-Einheit 1 selber generiert werden. 
Die Bildverarbeitungseinheit 3 kann die Bilddaten in der Speichereinheit 2 

10 lesen und in einen lokalen Speicherbereich 12 speichern 12. Weitere 
digitale Verarbeitungsmitteln 1 1 sind vorzugsweise vorhanden, urn die 
Bilddaten zu verwalten und urn diese uber eine Kommunikationsschnitt- 
stelle 13 an eine externe Vorrichtung 16 zu senden. 

Vorzugsweise besteht ein Kommunikationsprotokoll, urn die 
15 Bildaufnahme-Befehle zu definieren welche von der externen 

elektronischen Einrichtung 3 an die Bildlese-Einheit 1 gesendet werden, urn 
auf einen bestimmten Bereich des Bildsensors 6 zuzugreifen. Diese Befehle 
sollen flexibel, fur den Programmierer leicht zu verstehen und von den 
Datenverarbeitungsmitteln 8 rasch interpretierbar sein. Mit diesen Befehlen 
20 sollen alle von der Bildlese-Einheit 1 unterstutzen Bildaquisitionsmodi 
eingegeben werden konnen. Ein Befehlinterpretierer (zum Beispiel ein 
geeignetes vom Prozessor 8 ausgefQhrtes Programm) interpretiert diese 
Befehle und greift auf die den gewunschten Bildabschnitt zugehorigen 
Pixels des Bildsensors 6 zu, indem es in Echtzeit zur Pixelextrahierung die 
25 Adressen und Timingsignale fur den Treiber 6 generiert. 

Die Bildlese-Einheit 1 kann mindestens folgende Bildeinlesemodi 
unterstutzen. Jeder Modus wird mit einem entsprechenden Bildaufnahme- 
Befehl gestartet: 

1 . Extrahieren von rechteckiaen Bildfenstern im rechteck-Modus 

30 Dieser Einlesemodus ist auf der Figur 7 schematisch dargestellt. 

Auf dieser Figur werden die Pixels 60 die eingelesen werden mussen 
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scharfiert wahrend andere Pixels 61 weiss dargestellt sind. Dieser Modus 
erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von 
rechteckigen Bildflachen aus dem Bildsensor 6 einzulesen. In diesem Modus 
kann auch die gesamte Bildflache eingelesen werden. Alle Pixel der 

5 Rechtecke konnen eingelesen werden; als Variante konnen aber auch in 
regelmassigen Intervallen in der horizontalen X bzw. vertikalen Y Richtung 
eine gewisse Anzahl von Zeilen bzw. Spalten ausgelassen werden. Im 
dargestellten Beispiel wird nur jede zweite Spalte und nur jede Zeile des 
zweitgrossten Rechtecks eingelesen. Diese Lucken erlauben, die 

10 gewunschten Bilderabschnitte mit einer reduzierten Auflosung einzulesen. 
Dabei kann die Auflosung jedes Bildabschnitts unterschiedlich gewahlt 
werden. Das Verhaltnis zwischen der Anzahl ausgelassener und gelesener 
Pixel in jeder Richtung wird als Downsampling-Faktor definiert. 



is eingegeben werden, um das Einlesen im Rechteck-Modus anzuwahlen: 



Solche Parameter konnen in den Bildaufnahme-Befehlen 



1. 



Anzahl einzulesender Rechtecke (im dargestellten Beispiel 
2) 



2. 



Horizontale Koordinaten Pxi des ersten Pixels (ein Eckpixel 
des Rechtecks) von jedem Rechteck i. 



20 



3. 



Vertikale Koordinaten Pyi des ersten Pixels (ein Eckpixel 
des Rechtecks) von jedem Rechteck i. 



4. 



Anzahl ai gelesene Zeilen in der horizontalen Richtung X 
fur jedes Rechteck i. Der Parameter ai muss grosser als Null 
sein. 



25 



5. 



Anzahl di ungelesener Zeilen in der horizontalen Richtung 
X fur jedes Rechteck i. 
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6. Anzahl bi gelesene Spalten in der vertikalen Richtung X fur 
jedes Rechteck i. Der Parameter bi muss grosser als Null 
sein. 

7. Anzahi ci nicht gelesener Spalten in der vertikalen 
5 Richtung X fur jedes Rechteck i. 

2. Extrahieren von einem paralleloaramm-formiaen Biidfenster 
im Paralleloaramm-Modus. 

Dieser Einlesemodus ist auf der Figur 8 schematisch dargestellt. 
Dieser Modus erlaubt es, eine gewisse Anzahl (1 bis zu einer maximalen 
10 Anzahl) von parallelen Linien in jeder beliebigen Richtung aus dem 
Bildsensor 6 einzulesen. Wie im Rechteckmodus kann auch hier ein 
Downsampling-Faktor in der horizontalen und in der vertikalen Richtung 
definiert werden. 

Folgenden Parameter konnen verwendet werden, um das 
15 Einlesen im Parallelogramm-Modus anzuwahlen: 

1. Anzahl einzulesender Parallelogramme (im dargestellten 
Beispiel 1) 

2. Horizontale Koordinaten Px des ersten Pixels (ein Eckpixel 
des Parallelogramms) von jedem Parallelogramm. 

20 3. Vertikale Koordinaten Py des ersten Pixels (ein Eckpixel des 

Parallelogramms) von jedem Parallelogramm. 

4. Anzahl a nicht gelesener Pixel zwischen jeder gelesenen 
Spalte in der horizontalen Richtung. 

5. Anzahl b der Pixel in jeder gelesenen Spalte. 
25 6. Anzahl c der gelesenen Spalten 
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7. Anzahl d nicht gelesener Pixel zwischen jeder gelesenen 
Zeile in der vertikalen Richtung. 

8. Anzahl e der Pixel in jeder gelesenen Zeile. 

9. Anzahl f der gelesenen Zeilen 

5 lO.Verschiebung g des Parallelogramms in der horizontalen 

Richtung. 1st der Parameter g negativ, so ist das 
Parallelogramm von links unten nach rechts oben 
orientiert. Mit g=0 konnen rechteckige Bildformen 
eingelesen werden. Ist der Parameter g positiv, so ist das 

io Parallelogramm von links oben nach rechts unten 

orientiert, wie in der Figur 8 

3. Extrahieren von einer oder mehreren Ellipsen. im elliptischen 

Modus. 

Dieser Einlesemodus ist auf der Figur 9 schematisch dargestellt. 

15 Dieser Modus erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen 
Anzahl) von elliptischen (zum Beispiel kreisformigen) Bildabschnitten aus 
dem Bildsensor 6 einzulesen. Im dargestellten Beispiel werden nur 
konzentrische Ellipsen definiert. Es ware aber auch moglich, Bildaufnahme- 
Befehle vorzusehen, mit welchen nicht-konzentrische Ellipsen in welchen 

20 eventuell auch ein Downsampling-Faktor in der horizontalen und in der 
vertikalen Richtung definiert ist, angegeben werden konnten. 

Folgenden Parameter konnen verwendet werden, um das 
Einlesen im elliptischen Modus anzuwahlen: 

1. Anzahl a einzulesender konzentrischer Ellipsen (im 
25 dargestellten Beispiel 2) 

1. Horizontale Adresse Px des Mittelpunkts aller 
konzentrischen Ellipsen. 
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2. Vertikale Adresse Py des Mittelpunkts aller konzentrischen 
Ellipsen. 

3. Anzahl bi der Pixel in der grossen Halbachse aller Ellipsen. 

4. Anzahl ci der Pixel in der kleinen Halbachse aller Ellipsen. 

5 5. Als Option: Orientierung der grossen Halbachse, wenn 

diese nicht horizontal ist. 

6. Als Option: Downsampling-Faktor in der horizontalen und 
vertikalen Richtung. 

Eine schnellere Bildeinlese kann erreicht werden, wenn alle 
10 Ellipsen konzentrisch sind und wenn da Verhaltnis kleine Halbachse zu 
grosser Halbachse wahrend einer Bildaquisition fur alle Ellipsen gleich ist. 

2. Von der Bildlese-Einheit definierte Einlesemodi 

Urn die Speichereinheit 2 und die externe Einrichtung 3 weiter zu 
entlasten ist es auch moglich, dass die Bildlese-Einheit 1 selber die Anzahl, 

15 die Grosse, die Position, die vertikale und horizontale Auflosung und die 
Form der eingelesenen Bildabschnitten anhand von abstrakteren Befehlen 
bestimmt. Diese Parameter konnen auch dynamisch (zum Beispiel in 
Echtzeit und/oder zwischen jedem Bild) angepasst werden. Ein von den 
Datenverarbeitungsmitteln ausgefuhrtes Programm bestimmt zu jeder Zeit, 

20 welcher Bereich des Bildsensors 6 eingelesen werden muss. Folgende 
Bedingungen konnen Anpassungen des Bildabschnitts verursachen: 

Bildobiekt-Verfolauna : Die Datenverarbeitungsmittel 8 der 
Bildlese-Einheit 1 konnen einen Bildobjekt-Verfolgungsalgorithmus 
ausfuhren, urn ein gleiches Objektauf nacheinanderfolgenden Bildern 
25 einer Bildsequenz zu identifizieren und zu verfolgen. Die Bildlese-Einheit 
kann dabei nur die Pixel die zum verfolgten Objekt gehoren aus dem 
Bildsensor extrahieren und zur Verfugung stellen. Die Form des 
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eingelesenen Bildabschnitts kann dynamisch an die Form des Objekts 
angepasst werden und ist nicht auf Rechtecke, Parallelogramme und 
Ellipsen begrenzt. 

Anpassuna an die Ootik : Die Auflosung kann an die Qualitat der 
5 Optik, an die verwendeten Fokale, an den Zoomfaktor, an die Offnung des 
Diaphragmas, an die Fokuseinstellung usw, automatisch angepasst werden. 

Anpassuna in Abhanaiakeit von Kamera-Steuerunasbefehlen : die 
Bildabschnitte, insbesondere die Auflosung der Bildabschnitten, konnen 
angepasst werden, wenn zum Beispiel Zoom-, Panning- oderTilt- 
10 Bewegungen durchgefuhrt werden, oder wenn die Fokuseinstellung 
automatisch oder manuell geandert wird. 

Anpassuna in Abhanaiakeit von Triaaern. die von externen 
Triaaeraeraten erzeuat werden : Die Kamera kann eine Schnittstelle 
enthalten, urn externe Triggersignale zu empfangen. Die Einleseparameter 
15 konnen automatisch geandert werden, wenn ein neues Triggersignal 
empfangen wird. Damit konnen die Einlesebedingungen an externe 
Ereignisse angepasst werden, 

Anpassuna an den Inhalt des Bildes : Die Auflosung, der 
eingelesene Bildabschnitt usw, konnen automatisch dynamisch angepasst 
20 werden, wenn sich der Inhalt der aufgenommenen Bilder andert. Es ist 
beispielsweise moglich, automatisch einen neuen Bildabschnitt zu 
extrahieren, wenn ein Ereignis in diesem Bildabschnitt detektiert wird. 

Um auf Ereignisse zu reagieren, die in zusatzlichen nicht 
extrahierten Bildabschnitten passieren, istes in einer Ausfuhrungsform 
25 moglich, diese zusatzliche Bildabschnitte mit einer langsameren Abtast- 
Frequenz einzulesen und die dabei erhaltenen zusatzlichen Bilddaten fur 
die Oberwachung von Ereignissen zu verwenden, ohne sie ausserhalb der 
Bildlese-Einheit zur Verfugung zu stellen. 
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Mit diesen Bildmodi kann der Bildlese-Einheit mit einem Befehl 
mitgeteilt werden, was fur einen Bildabschnitt bendtigt wird. In einer 
bevorzugten Ausf uhrungsform konnen mindestens gewisse der folgenden 
Parameter in mindestens gewissen Bildaufnahme-Befehlen eingegeben 
5 werden: 

■ Abtastzeit (1 00ns, 200ns usw.). Als Variante oder fur 
bestimmte Befehle kann der Befehl-lnterpretierer stets 
automatisch die schnellst mogliche Abtastzeit fur die 
gewunschte Bildform auswahlen. Als andere Variante wird 

L0 immer denselben Bildbereich gelesen, und die 

Bildaufnahme wird durch das externe Synchronisations- 
signal 14 getaktet. 

■ Auflosung des AD-Wandlers 7 (6, 8, 10 oder 12 Bit usw.). 

■ Integrationszeit der Pixel (10|as, 100ns, 1ms usw.). 
15 ■ Mit oder ohne elektronischen Shutter. 

■ Steuersignale f ur einen eventuellen mechanischen Shutter. 

■ Steuersignale fur das Objektiv 4 wie Zoomeinstellung, Iris 
und Fokus. 

■ Lineare oder logarithmische Antwortkurve (Auslese- 

20 spannung in Abhangigkeit der Lichtintensitat) der Pixel. 

■ Mit oder ohne Bildkalibrierung (urn das Festrauschen zu 
limitieren usw.). 

■ Mit oder ohne Vorverarbeitung der zu lesenden Bilddaten, 
die Vorverarbeitung kann Algorithmen beinhalten wie 

25 Kantendetektion, Hoch- und Tiefpassfilterung usw. 
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Eine zweite Ausfuhrungsform einer Einrichtung gemass der 
Erfindung ist auf der Figur 3 dargestellt. In dieser Variante sind alle 
Komponenten, die fruher in Zusammenhang mit der Figur 2 beschrieben 
wurden, in einem einzigen Gehause integriert. Eine solche Vorrichtung 
5 kann als intelligente Kamera bezeichnet werden und kann durch eine 

Schnittstelle 13 mit externen Geraten 16 verbunden werden. Dabei konnen 
mehreren der hier beschriebenen Komponenten 8, 21, usw., in einer 
einzigen integrierten Schaltung integriert werden. 

Eine dritte Ausfuhrungsform einer Einrichtung gemass der Erfin- 
10 dung ist auf der Figur 4 dargestellt. In dieser Variante sind die Bildlese- 
Einheit 1 und die Speichereinheit 2 in ein gemeinsames Gehause 17 
integriert. Eine solche Einrichtung kann als Einzel-Pixel-Zugriff-Kamera 
bezeichnet werden. Die Bildlese-Einheit umfasst die gleichen Komponenten 
wie die Variante der Figur 2. Zusatzlich zur Bildlese-Einheit 1 und zur 
15 Speichereinheit 2 ist eine Kommunikationsschnittstelle 1 9 mit einem 
Kommunikationsprozessor implementiert, welcher es ermoglicht, die 
Bilddaten von der Einzel-Pixel-Zugriff-Kamera 17 uber einen 
"Framegrabber 27 (Datenempfangseinheit) an eine externe Einrichtung 3 
zu senden. Die externe elektronische Einrichtung 3 kann ein 
20 Prozessorsystem sein (beispielsweise ein PC), in welchem die Framegrabber- 
Karte 27 installiert ist. 

Die von der Bildlese-Einheit eingelesenen Bilddaten werden uber 
einen schnellen Datenbus an den Framegrabber 27 gesendet. Der 
Framegrabber 27 verfugt uber eine zweite Kommunikationsschnittstelle 

25 mit einem Kommunikationsprozessor 22, um diese Daten zu empfangen. 
Die Bilddaten werden dann in einen FIFO-Speicher 23 zwischengespeichert 
und uber eine direkte Speicherzugriffschaltung (DMA) 24 und eine 
Kommunikationsschnittstelle 25 in den elektronischen Speicher 12 des PC 3 
geschrieben. Der Prozessor 1 1 des PC's 3 wird dabei fur die eigentliche 

30 Bildsignalverarbeitung verwendet. Die Bildaufnahme-Befehle 14 konnen 
vom Prozessor 1 1 (uber eine Kommunikationsschnittstelle 13) oder auch 
von einer externen Einrichtung 15 stammen. Auch hier konnen mehreren 
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der hier beschriebenen Komponenten 8, 21, 19, usw. in der Kamera 17 in 
einer einzigen integrierten Schaltung integriert werden. 

Eine vierte AusfQhrungsform einer Einrichtung gemass der Er- 
findung ist auf der Figur 5 dargestellt. In dieser Variante liest die externe 

5 Bildverarbeitungs-Einheit 3 die gewunschten Bilddaten nicht aus einer 
Speichereinheit 2, sondern direkt aus der Bildlese-Einheit 1. Zu diesem 
Zweck verf ugt die Bildlese-Einheit 1 uber eine geeignete Kommunikations- 
schnittstelle 19, die direkt auf die Speichereinheit 10 der Bildlese-Einheit 1 
zugreifen kann. Der Kommunikationsprozessor 19 kann selber noch uber 

10 einen lokalen Speicher verfugen. Dieser Prozessor sendet die Daten uber 
eine Kommunikationsschnittstelle 22 an die externe Einrichtung 3. Die 
externe Einrichtung 3 ist auch mit einem Kommunikationsprozessor 22 
ausgestattet, urn die Daten korrekt zu empfangen und sie in einen 
elektronischen Speicher 12 zu schreiben. Weitere digitale 

15 Bilderverarbeitungsmittel 1 1 sind vorzugsweise vorhanden, urn die 
Bilddaten zu verwalten und urn diese uber eine 

Kommunikationsschnittstelle 13 an eine externe Vorrichtung 16 zu senden. 

Eine f unfte AusfQhrungsform einer Einrichtung gemass der 
Erfindung ist auf der Figur 6 dargestellt. In dieser Variante wird auch eine 
20 Einzel-Pixel-Zugriff-Kamera 1 7 verwendet, welche die Bilddaten uber eine 
Kommunikationsschnittstelle 19 an einen Framegrabber 27 sendet. Der 
Framegrabber 27 empfangt die gewQnschten Bilddaten und ist mit einer 
externen Bildverarbeitungseinheit 3 verbunden. Die Bilddaten werden nun 
von einem Kommunikationsprozessor 22 im Framegrabber 27 empfangen 
25 und konnen temporar in einem FIFO-Speicher 23 zwischengespeichert 
werden. Ein Prozessor 26 auf der Framegrabberkarte 27 kann die 
empfangenen Bilddaten verarbeiten und in den lokalen Speicher 21 des 
Framegrabbers 27 schreiben. Vorzugsweise kann auch der 
Kommunikationsprozessor 22 Bilddaten direkt in den Speicher 21 
30 schreiben. Damit wird der Prozessor 1 1 und der Speicher 1 2 der externen 
Einrichtung 3 entlastet. Der Prozessor 1 1 kann nach Bedarf auf die 
Bilddaten des Framegrabbers 27 zuruckgreifen, urn diese weiter zu 
verarbeiten, zu archivieren, Qber ein Netzwerk an ein 
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Kommunikationselement 13 zu senden usw. und kann diese auch lokal in 
seinen elektronischen Speicher 12 schreiben. 

Befehle oder Synchronisationssignale 14 fur die Bildaufnahme 
konnen entwedervon einer externen Einrichtung 15, vom Framegrabber 
5 27, oder von der externen Einrichtung 3 stammen, oder intern in der Einzel- 
Pixel-Zugriff-Kamera generiert werden. 



Neben die neue Einrichtung 1, 2, beispielsweise in der Form einer 
neuen intelligenten Kamera, betrifft die Erfindung auch neue Programme, 
die in einer soichen Kamera geladen werden konnen, um Bildaufnahme- 

10 Befehle, in welchen die Form, die Grosse, die Position, die Auflosung 
und/oder die Anzahl von Bildbereichen, die aus einem Bildsensor mit 
Einzelpixelzugriff eingelesen werden miissen, zu interpretieren und 
durchzufuhren. Solche Programme konnen als Computerprodukten, 
insbesondere als programmierte Datenspeichermedien, vertrieben werden. 

15 Die Erfindung betrifft ebenfalls Programme, die von einer externen 
Vorrichtung 3, 14 durchgefuhrt werden, um solche Befehle an eine 
elektronische Einrichtung gemass der Erfindung zu senden. 
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Anspruche 

1. Elektronische Einrichtung, die folgende Komponenten 
umfasst: 

eine mit einem oder mehreren Bildsensoren (6) ausgestattete Bildlese- 
5 Einheit (1), 

wobei mindestens ein Bildsensor den Zugriff auf einzelne Pixels erlaubt, 

wobei die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 
Bildaufnahme-Befehle empfangen und ausfuhren kann, 

dadurch gekennzeichnet, dass in mindestens einem benannten 
10 Bildaufnahme-Befehl die Form des Bildabschnitts (60) # welcher aus dem 
benannten Bildsensor (6) eingelesen werden muss, frei definierbar ist, 

und dass die benannte Bildlese-Einheit (1) nur die Bildabschnitte (60) des 
benannten Bildsensors (6), die der im benannten Bildaufnahme-Befehl frei 
definierten Form entsprechen, aus dem benannten Bildsensor (6) einliest 
15 und zur Verf ugung stellt. 

2. Elektronische Einrichtung gemass Anspruch 1. mit einer von 
der benannten Bildlese-Einheit (1) beschreibbaren und von einer externen 
elektronischen Einrichtung (3) lesbaren Speichereinheit (2) urn die aus dem 
benannten Bildsensor (6) eingelesenen Bildabschnitte zu speichern. 

20 3. Elektronische Einrichtung gemass einem der Anspruche 1 bis 2, 

in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 
Bildaufnahme-Befehle von einer externen Einrichtung (3) empfangen kann. 

4. Elektronische Einrichtung gemass einem der Anspruche 1 bis 3, 
in welcher die benannte Bildlese-Einheit (1) Bildaufnahme-Befehle selber 

25 erzeugen kann. 

5. Elektronische Einrichtung gemass einem der AnsprCiche 1 bis 4, 
in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 
Bildaufnahme-Befehle die Bildabschnitte mit mehreren Pixels enthalten, 
ausfuhren kann. 
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6. Elektronische Einrichtung gemass einem der Anspruche 1 bis 5, 
in welcher die Grosse, die Position, die Auflosung und/oder die Anzahi der 
aus dem benannten Bildsensor (6) eingelesenen Bildabschnitte (60) im 
benannten Bildaufnahme-Befehl frei definierbar sind. 

5 7. Elektronische Einrichtung gemass einem der Anspruche 1 bis 6, 

in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 
Befehle zum Lesen von frei definierbaren rechteckigen Bildabschnitten aus 
dem benannten Bildsensor (6) interpretieren und durchfuhren kann. 

8. Elektronische Einrichtung gemass einem der Anspruche 1 bis 7, 
10 in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 

Befehle zum Lesen von frei definierbaren Parallelogrammen aus dem 
benannten Bildsensor (6) interpretieren und durchfuhren kann. 

9. Elektronische Einrichtung gemass einem der Anspruche 1 bis 8, 
in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 

15 Befehle zum Lesen von frei definierbaren Ellipsen aus dem benannten Bild- 
sensor (6) interpretieren und durchfuhren kann. 

10. Elektronische Einrichtung gemass einem der Anspruche 1 bis 9, 
in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie 
Befehle zum Lesen von frei definierbaren Bildabschnitten mit einer frei 

20 definierbaren Auflosung interpretieren und durchfuhren kann. 

1 1 . Elektronische Einrichtung gemass einem der Anspruche 1 bis 

10, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass 
sie Befehle zum Lesen von einer frei definierbaren Anzahi von getrennten 
Bildabschnitten interpretieren und durchfuhren kann. 

25 12. Elektronische Einrichtung gemass einem der Anspruche 1 bis 

1 1, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass 
sie die Form, die Position, die Grosse, die Auflosung und/oder die Anzahi 
des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an den Inhalt des 
Bildes selbst anpassen kann. 
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13. Elektronische Einrichtung gemass einem der Anspruche 1 bis 

12, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass 
sie'die Form, die Position, die Grosse, die Auflosung und/oder die Anzahl 
des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an die Optik (4) 

5 selbst anpassen kann. 

14. Elektronische Einrichtung gemass einem der Anspruche 1 bis 

13, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass 
sie'die Form, die Position, die Grosse, die Auflosung und/oder die Anzahl 
des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) selbst anpassen 

10 kann, wenn externe Triggersignale empfangen werden. 

1 5. Elektronische Einrichtung gemass einem der Anspruche 1 bis 

14, mit einem Kommunikationsprozessor (19), urn die aus dem benannten 
Bildsensor gelesenen Bilddaten einer externen Vorrichtung (2, 3) zur 
Verfugung zu stellen. 

16. Elektronische Einrichtung gemass einem der Anspruche 1 bis 

1 5, mit Bilddatenverarbeitungsmitteln (8), urn aus dem benannten 
Bildsensor (6) gelesene Bilddaten zu verarbeiten. 

17. Elektronische Einrichtung gemass dem Anspruch 16, in welcher 
die benannten Datenverarbeitungsmittel derart ausgestaltet sind, dass sie 

20 mindestens gewisse der folgenden Bildverarbeitungsoperationen 

durchfuhren konnen: Kalibrieren mit einem Kalibrierungsbild, Binarisierung 
mit einem Schwellwert, Kantendetektion, Filtrierung. 

18. Computerprogrammprodukt, das in den Speicher (9) einer 
elektronischen Einrichtung gemass einem der AnsprOche 1 bis 17 ladbar ist, 

25 und welches Softwarekodeportionen umfasst, urn Bildaufnahme-Befehle zu 
empfangen und derart zu interpretieren, dass nur die Bildabschnitte eines 
Bildsensors (6) adressiert werden, die der in diesen Bildaufnahme-Befehlen 
definierten Form entsprechen. 



15 



02073951A1J > 



* 



WO 02/073951 PCT/CH02/00140 

21 



19. Computerprogrammprodukt, das in den Speicher einer 
elektronischen Einrichtung (3; 16; 15) ladbar ist. und welches 
Softwarekodeportionen umfasst, urn Bildaufnahme-Befehle zu erzeugen, 
die an elektronische Einrichtungen gemass einem der Anspruche 1 bis 17 
5 gesendet werden konnen, urn die Form eines Bildabschnitts (60) zu 

definieren, welche von dieser Einrichtung zur Verf ugung gestellt werden 
muss. 
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